上下文：大数据的有效处理是SQL和NOSQL数据库的一项具有挑战性的任务，在这种数据库中，有效的软件体系结构起着至关重要的作用。 SQL数据库设计用于构建数据和支持垂直可扩展性。相反，水平可伸缩性由NOSQL数据库支持，并且可以有效地处理较大的非结构化数据。可以根据组织的需求选择正确的范式；但是，做出正确的选择通常可能具有挑战性。 SQL和NOSQL数据库遵循不同的体系结构。同样，混合模型之后是NOSQL数据库的每个类别。因此，对于多个云服务提供商（CSP）的云消费者来说，数据移动变得困难。此外，每个云平台IAAS，PAAS，SaaS和DBAAS还监视各种范式。目的：该系统文献综述（SLR）旨在研究与SQL和NOSQL数据库软件体系结构相关的相关文章，并解决各种云平台之间的数据可移植性和互操作性。最新的状态通过观察缩放，性能，可用性，一致性和分片特性，介绍了SQL和NOSQL数据库的许多性能比较研究。根据研究研究，NOSQL数据库设计的结构可以是大数据分析的正确选择，而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据流动相关的方法。开发了基于平台的API，这使用户的数据移动变得困难。因此，在跨多个CSP的数据移动期间发现了数据可移植性和互操作性问题。为了最大程度地减少开发人员的努力和互操作性，要求统一的API使数据移动在各种云平台之间相对易于访问。

To date, no "information-theoretic" frameworks for reasoning about generalization error have been shown to establish minimax rates for gradient descent in the setting of stochastic convex optimization. In this work, we consider the prospect of establishing such rates via several existing information-theoretic frameworks: input-output mutual information bounds, conditional mutual information bounds and variants, PAC-Bayes bounds, and recent conditional variants thereof. We prove that none of these bounds are able to establish minimax rates. We then consider a common tactic employed in studying gradient methods, whereby the final iterate is corrupted by Gaussian noise, producing a noisy "surrogate" algorithm. We prove that minimax rates cannot be established via the analysis of such surrogates. Our results suggest that new ideas are required to analyze gradient descent using information-theoretic techniques.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

随机梯度算法在大规模学习和推理问题中广泛用于优化和采样。但是，实际上，调整这些算法通常是使用启发式和反复试验而不是严格的，可概括的理论来完成的。为了解决理论和实践之间的这一差距，我们通过表征具有固定步长的非常通用的预处理随机梯度算法的迭代术的大样本行为来对调整参数的效果进行新的见解。在优化设置中，我们的结果表明，具有较大固定步长的迭代平均值可能会导致（局部）M-静态器的统计效率近似。在抽样环境中，我们的结果表明，通过适当的调整参数选择，限制固定协方差可以与Bernstein匹配 - 后验的von Mises限制，对模型错误指定后验的调整或MLE的渐近分布；而幼稚的调整极限与这些都不相对应。此外，我们认为可以在数据集对固定数量的通行证后获得基本独立的样本。我们使用模拟和真实数据通过多个实验来验证渐近样结果。总体而言，我们证明具有恒定步长的正确调整的随机梯度算法为获得点估计或后部样品提供了计算上有效且统计上健壮的方法。

在查询图像中检索与感兴趣的对象（OOI）在语义上相似的对象具有许多实际用例。一些示例包括修复失败，例如虚假的负面因素/阳性模型或减轻数据集中的类不平衡。有针对性的选择任务需要从大规模的未标记数据池中找到相关数据。在此规模上进行手动开采是不可行的。此外，OOI通常很小，占据图像区域的1％不到1％，被遮挡，并且在混乱的场景中与许多语义上不同的物体共存。现有的语义图像检索方法通常集中在较大尺寸的地理地标的采矿和/或需要额外的标记数据，例如带有相似对象的图像/图像对，用于带有通用对象的挖掘图像。我们在DNN功能空间中提出了一个匹配算法的快速稳固的模板，该模板从一个大的未标记数据池中检索了对象级的语义相似图像。我们将查询图像中OOI周围的区域投射到DNN功能空间以用作模板。这使我们的方法能够专注于OOI的语义，而无需额外的标记数据。在自主驾驶的背景下，我们通过将对象探测器的故障案例作为OOI评估我们的系统进行靶向选择。我们证明了其在具有2.2m图像的大型未标记数据集上的功效，并在采矿中显示出对具有小型OOI的图像的高回忆。我们将我们的方法与众所周知的语义图像检索方法进行比较，该方法也不需要额外的标记数据。最后，我们证明我们的方法是灵活的，并以一种或多种语义上不同的同时发生的OOI无缝地检索图像。

我们研究了学习算法的输出及其$ n $培训数据之间（某些摘要）之间的共同信息，以$ n+1 $ i.i.d.的超级样本为条件。随机选择训练数据而无需更换的数据。这些算法（Steinke and Zakynthinou，2020）的条件相互信息（CMI）的这些剩余变体也被认为可以控制具有有界损耗函数的学习算法的平均通用误差。为了学习在0-1损失（即插值算法）下实现零经验风险的学习算法，我们提供了剩余的CMI与风险的经典保留误差估计之间的明确联系。使用此连接，我们就（评估）保留的CMI获得了上限和下限。当限制风险恒定或多项式衰减时，边界会收敛到两个恒定因子。作为应用程序，我们分析了单个包含图算法的人口风险，这是一种在可实现的环境中的VC类的通用转导学习算法。使用一对一的CMI，我们匹配在可实现的设置中学习VC课程的最佳界限，回答了Steinke和Zakynthinou（2020）提出的开放挑战。最后，为了理解剩余的CMI在研究概括中的作用，我们将剩余的CMI放在措施层次结构中，并在根本上使用新颖的无条件相互信息。对于0-1的损失和插值学习算法，观察到此相互信息恰恰是风险。

The logit outputs of a feedforward neural network at initialization are conditionally Gaussian, given a random covariance matrix defined by the penultimate layer. In this work, we study the distribution of this random matrix. Recent work has shown that shaping the activation function as network depth grows large is necessary for this covariance matrix to be non-degenerate. However, the current infinite-width-style understanding of this shaping method is unsatisfactory for large depth: infinite-width analyses ignore the microscopic fluctuations from layer to layer, but these fluctuations accumulate over many layers. To overcome this shortcoming, we study the random covariance matrix in the shaped infinite-depth-and-width limit. We identify the precise scaling of the activation function necessary to arrive at a non-trivial limit, and show that the random covariance matrix is governed by a stochastic differential equation (SDE) that we call the Neural Covariance SDE. Using simulations, we show that the SDE closely matches the distribution of the random covariance matrix of finite networks. Additionally, we recover an if-and-only-if condition for exploding and vanishing norms of large shaped networks based on the activation function.

假设发行版是高斯通常促进别侵害的计算。我们考虑一个旨在实现与具有高斯的先前分配和高斯似然函数的强盗环境获得低信息比的代理，但是在应用于伯努利强盗时研究代理的性能。当代理商与Bernoulli强盗互动时，我们建立了贝叶斯遗憾的增加，相对于对高斯匪徒的信息定理束缚。如果高斯的现有分配和似然函数足够弥散，则随着时间的平方根，这种增加的增加，因此每次时间增长都会增加消失。我们的结果正式化了所谓的贝叶斯代理在漫反射错过分布的差异时所谓的贝叶斯代理人仍然有效。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

在这项工作中，我们调查了Steinke和Zakynthinou（2020）的“条件互信息”（CMI）框架的表现力，以及使用它来提供统一框架，用于在可实现的环境中证明泛化界限。我们首先证明可以使用该框架来表达任何用于从一类界限VC维度输出假设的任何学习算法的非琐碎（但是次优）界限。我们证明了CMI框架在用于学习半个空间的预期风险上产生最佳限制。该结果是我们的一般结果的应用，显示稳定的压缩方案Bousquet al。 （2020）尺寸$ k $有统一有限的命令$ o（k）$。我们进一步表明，适当学习VC类的固有限制与恒定的CMI存在适当的学习者的存在，并且它意味着对Steinke和Zakynthinou（2020）的开放问题的负面分辨率。我们进一步研究了价值最低限度（ERMS）的CMI的级别$ H $，并表明，如果才能使用有界CMI输出所有一致的分类器（版本空间），只有在$ H $具有有界的星号（Hanneke和杨（2015）））。此外，我们证明了一般性的减少，表明“休假”分析通过CMI框架表示。作为推论，我们研究了Haussler等人提出的一包图算法的CMI。 （1994）。更一般地说，我们表明CMI框架是通用的，因为对于每一项一致的算法和数据分布，当且仅当其评估的CMI具有样品的载位增长时，预期的风险就会消失。